เจ้าฟูมิมาโระ เกิดในตระกูลฟูจิวาระ สายตระกูลโคโนเอะ ซึ่งเป็นตระกูลเก่าแก่ที่ทรงอำนาจมายาวนาน เจ้าได้รับการศึกษาในภาษาอังกฤษและเยอรมัน เป็นบุตรของเจ้า โคโนเอะ อัตสึมาโระ ผู้คัดค้านสังคมคอมมิวนิสต์แบบรัสเซียบิดาของเขาเกือบจะได้เป็นนายกรัฐมนตรีของญี่ปุ่นแล้วหากไม่ถึงแก่อสัญกรรมไปก่อน แม้จะเป็นตระกูลที่สืบทอดบรรดาศักดิ์ชั้นสูงสุดและมีสถานะทางสังคมที่สูงส่ง แต่มีฐานะทรัพย์สินที่ไม่มั่นคงเทียบเท่าตระกูลคูโจ ซึ่งเป็นพระญาติในพระจักรพรรดิโชวะเนื่องจากมีสมเด็จพระจักรพรรดินีเทเม คอยสนับสนุนอยู่นั่นเอง